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Цель данного исследования — рассмотрение возможности 
использования метода нечеткой кластеризации в автоматизи- 
рованной системе оценивания эффективности работы экспер- 
тов по проверке результатов государственной итоговой атте- 
стации в форме ЕГЭ. Представлены различные показатели 
результатов работы экспертов и их расчетные формулы. Пара- 
метры разбиты на следующие группы: базовые, статистиче- 
ские оценки базовых, нормированные и качественные. Приме- 
нение метода нечеткой кластеризации с использованием взве- 
шенной метрики Евклида показано на примере оценивания 
работы экспертов предметной комиссии по математике (про- 
фильный уровень). Эксперименты проводились с учетом и без 
учета шумов с последующими выводами о влиянии, которое 
оказывают шумы на результаты. Также по результатам экспе- 
риментов были представлены таблицы и графики с разбиени- 
ем экспертов на кластеры. 
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оценивание, шумы в данных, терм-множества. 
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Введение. С 2009 года в России единый государственный экзамен (ЕГЭ) является единственной формой госу- 
дарственной итоговой аттестации обучающихся в организациях общего среднего образования и одновременно вступи- 
тельных испытаний в вузы. 

По большинству предметов задания делятся на три группы в зависимости от их сложности. Первая группа — 
задания области А, самые простые. В них предлагается выбрать правильный ответ из предложенных вариантов. Вторая 
группа — задания области В. Они сложнее, предполагают самостоятельное написание краткого ответа. Ответы на за- 
дания групп А и В вносятся в бланк и проверяются с помощью компьютера. Третья группа — задания области С, са- 
мые сложные. Они требуют развернутых ответов. Например, предлагается написать эссе, привести решение задачи, 
дать обоснованный ответ на вопрос и т. д. Тексты ответов вносятся в бланк и проверяются экспертами региональной 
экспертной комиссии. Следует отметить, что нередки случаи некорректного выставления баллов экспертами при про- 
верке заданий области С. В связи с этим конечный балл, полученный экзаменуемым, зависит не только от правильно- 
сти выполненных им заданий, но и от компетентности проверяющих [1]. 

Таким образом, важной задачей является формирование квалифицированной экспертной комиссии, проверя- 
ющей задания области С. 

В данной работе предложен метод, позволяющий ответственным за формирование предметных комиссий 
обосновано разделять экспертов на кластеры в зависимости от значений показателей их работы. Такая кластеризация 
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позволит руководителям принимать решения об уровне квалификации экспертов, необходимости переподготовки не- 
которых из них или исключении из состава комиссии. 

Ошибки при проверке экзаменационных работ. Процедура проверки экспертом экзаменационных работ 
области С регламентируется инструкциями Федерального института педагогических измерений (ФИПИ), которые со- 
держат подробные схемы (алгоритмы), определяющие число баллов, выставляемых за выполнение заданий каждого 
варианта. Экспертам предоставляются отсканированные копии работ. 

Анализ результатов работы экспертов позволяет утверждать, что при выполнении проверки возможны ошибки 
трех типов: 

1) эксперт не обнаруживает имевшееся решение задачи и, следовательно, не оценивает его; 
2) эксперт неверно понимает ход решения задачи; 
3) эксперт неверно понимает инструкцию ФИПИ по процедуре оценивания решения задания. 

Ошибки 1-го типа будем называть ошибками идентификации решения [2]. Ошибки 2-го и 3-го типов будем 
называть ошибками оценивания. 

Для сокращения влияния ошибок экспертов на оценку заданий области С предусмотрена процедура проверки 
решения каждого задания двумя экспертами. Процедуру проверки задания вторым экспертом будем называть второй 
проверкой. Если суммы баллов разных экспертов различаются несущественно, то учитывается большая из них. 

Перед проведением экзамена для каждого предмета ФИПИ устанавливает критерий несущественности разли- 
чия баллов. Например, при проверке заданий по математике несущественным будет отличие в два балла. Если расхож- 
дение больше, то данное задание отправляется на проверку третьему эксперту. Процедуру проверки задания третьим 
экспертом будем называть третьей проверкой. Третью проверку выполняет опытный эксперт высокой квалификации, 
выставленный им балл считается окончательным. 

Основная идея метода определения корректности работы экспертов. Рассмотрим оценивание одного и то- 
го же задания разными экспертами. Примем следующие допущения. 

— Оценивая задания, эксперты действуют независимо друг от друга. 

— Если суммы баллов в двух случаях совпадают, то можно считать малой вероятность одновременного принятия дву- 
мя экспертами ошибочного решения. 

— Если суммы баллов в двух проверках существенно различаются, то вероятность ошибки третьего эксперта мала в 
силу его высокой квалификации. 

— Если эксперт допустил ошибку первого типа (не обнаружил задачу), то его оценка за эту задачу принимается рав- 
ной 0. 

— Определение корректности результатов работы экспертов основывается на значениях оценок, удельных относи- 
тельно количества проверенных заданий, с учетом параметров случайных процессов. 


С. > К 
Будем оценивать различия в баллах, выставленных за задание с номером К при второй ( Лх2; ) и третьей ( АхЗ; ) 
проверке, по формулам: 
К _ к к 
Ах2; =х2,-х2;, (1) 


К . К ы 
где х2; —Щ оценка, выставленная за К-е задание 1-м экспертом; х2 —Щ оценка, выставленная за К-е задание /-м экспер- 


том, в паре с которым был 1-й эксперт. 
Соответственно, 


АхЗ; = х3' —х3у, (2) 


К й К : 
где х3; —Щ оценка, выставленная за К-е задание 1-м экспертом; ХЗ, —Щ_ оценка, выставленная за К-е задание ]-м экспер- 


том, осуществляющим третью проверку. 

Корректность работы экспертов в комиссии может быть оценена рядом показателей. Разделим их на четыре 
группы. 

1. Базовые выявляются при первичном анализе результатов проверки комиссией области С. 

2. Статистические формируются на основе оценки базовых показателей работы экспертов. 

3. Нормированные строятся для базовых и соответствующих им статистических оценок по множествам экс- 
пертов [3]. 

4. Качественные представляют собой оценку параметров на основании результатов выполнения алгоритма 
кластеризации и нечеткого логического вывода. 

Список рассматриваемых базовых показателей результатов работы экспертов представлен в табл. 1. 
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Таблица 1 
Базовые показатели результатов работы экспертов 

№ Показатель Сокращение 
1 | Количество проверенных заданий ОбщЗдн 
2 | Количество заданий, по которым оценка (сумма баллов) расходится с результатом второй проверки 2ПрКор 
3 |Количество заданий, для которых была проведена третья проверка ЗПрОбщ 
4 | Количество заданий, по которым оценка (сумма баллов) расходится с результатом третьей проверки 3ПрКор 

5 | Сумма абсолютных значений расхождений с суммой баллов третьей проверки ЗПрАбсКор 














Показатель Общ3Здн отражает объем работы, выполненной экспертом. Показатель 2//рКор отражает количе- 
ство расхождений с результатами второй проверки, но не дает возможности понять, кто из двух экспертов допустил 
ошибку. Показатель ЗПрОбщ отражает количество ошибок эксперта, выявленных при третьей проверке. Показатель 
ЗПрАбсКор определяет, насколько существенными были ошибки эксперта. 

В табл. 2 представлены статистические оценки базовых показателей работы экспертов. 
































Таблица 2 
Статистические оценки показателей работы экспертов 

№ Показатель Сокращение 

1 | Показатель слаженности работы экспертов СлажГрп 

2 |Среднее значение расхождений при второй проверке (Ах2;) 2ПрСрКор 

3 | Среднеквадратическое отклонение балла расхождений при второй проверке СКО2ПрСрКор 
4 |Частота возникновения у эксперта корректировок при вторых проверках 2ПрЧастКор 
5 | Среднее значение балла корректировок при третьей проверке (АхЗ; ) ЗПрСрКор 

6 |Среднеквадратическое отклонение корректировок при третьей проверке СКОЗПрСрКор 
7 | Частота возникновения третьих проверок у эксперта 3ЗПрЧаст 

8 | Частота возникновения корректировок эксперта при третьих проверках 3ЗПрЧастКор 
9 | Удельное значение корректируемого балла для эксперта ЗПрУОВелКор 

















Исходя из принятых допущений, качество работы эксперта можно оценить с помощью показателя СлажГри, 
который вычисляется по формуле: 





пгрп 
СлажГрп =-©—, (3) 
грп 
п 
грп ‚ грип 
где п“”  — общее число задач экзаменующихся, решение которых было оценено в группе эксперта; п’”  — число 


задач, оценка (сумма баллов) которых совпала с результатами второй проверки. 
Показатели 2ПрСрКор и ЗПрСрКор могут использоваться при принятии решения о наличии соответствующей 
тенденции у оцениваемого эксперта. 
Показатель 2ПрСрКор находится по формуле: 
у И 


2ПрСрКор = К=ЕТР, (4) 


12 
где {2 — количество расхождений при второй проверке у 1-го эксперта; Ах2^ — расхождение выставленного 1-м экс- 


пертом балла в К-м задании по формуле (1). 
Показатель ЗПрСрКор находится по формуле: 
13 К 
Ур 1493; 


ЗПрСрКор = и : (5) 


5 К : 
где 3 — количество корректировок эксперта при третьей проверке; АхЗ; — корректировка выставленного 1-м экспер- 


том балла в К-м задании по формуле (2). 
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Показатели 2ПрЧастКор, ЗПрЧаст и ЗПрЧастКор характеризуют частоту несовпадений оценок экспертов 
при вторых проверках, частоту возникновения третьей проверки и частоту корректировки при третьей проверке соот- 
ветственно. Данные показатели находятся относительно общего числа проверенных заданий. Для определения этих 
показателей использовались формулы: 


2ПрЧастКор = ПКО. (6) 
Общ3Здн 
ЗПрЧаст = ЗПРОбщ ; (7) 
Общ3 дн 
ЗПрЧастКор = а : (8) 
Общ3Здн 


Показатель ЗПрУдВелКор отражает количество ошибочно выставленных баллов, приходящееся на одно про- 
веренное экспертом задание. Данный параметр находится по формуле: 


13 К 
=; 
ОбщЗдн 








ЗПрУОВелКор = (9) 


> К . 
где 3 — количество корректировок эксперта при третьеи проверке; АхЗ; —_ отличие от выставленного 1-м экспертом 


балла в К-м задании — в соответствии с формулой (2). 

Для построения системы сравнения качества работы экспертов рационально использовать нормированные 
значения оценок — будем называть их индикаторами (имеют приставку «Инд»). Индикаторы соответствуют количе- 
ственным показателям оценки эксперта. Например, ИндЗПрСрКор рассчитан для параметра ЗПрСрКор. Значения ин- 
дикаторов находятся в интервале [0;1]: 1 соответствует наилучшему значению параметра, 0 — наихудшему. Рассмат- 
риваются 7 нормированных параметров: 

— Ино2ПрСрКор, 

— ИндСКО2ПрСрКор, 
— Инд2ПрЧастКор, 
— Инд3ЗПрСрКор, 

— ИндСКОЗПрСрКор, 
— Инд3ЗПрЧастКор, 
— Инд3ЗПрУОВелКор. 


Показатель Инд3ЗПрЧастКор; для 1-го эксперта находится по формуле: 


тах(3ЗИрЧастКор) -ЗПр ЧастКор, 





Ино3ЗПр ЧастКор; = (10) 


тах(3ИрЧастКор) — п(3ПрЧастКор) ” 
где тах(ЗПрЧастКор) — максимальное значение показателя ЗПрЧастКор среди всех членов комиссии; 
ши(3ЗПрЧастКор) — минимальное значение показателя ЗПрЧастКор среди всех членов комиссии. 


Аналогично равенству (10) (и при соответствующей замене показателей 3ЗПрЧастКор; и ЗПрЧастКор) нахо- 
дятся величины Инд2ПрЧастКор, ИндЗПрУОВелКор;, ИндСКО2ПрСрКор; и Инд СКОЗПрСрКор.. 

Итак, завышение или занижение баллов при оценивании заданий является отрицательной характеристикой 
эксперта. Предпочтительно отсутствие любого из названных недостатков. Поэтому показатели Инд2ПрСрКор; и 
Инод3ПрСрКор; для 1-го эксперта рассчитываются по формулам: 


тах((2 ПрСрКор))— |РИрСрКор, | 


, И 
тах(|2ПрСрКор]) в ши (2ПрСрКор)) е> 





Инд2ПрСрКор; = 


тах(|3ИрСрКор|)— ВИрСрКор, | 


, 12 
тах(|3ПрСрКор)) — пиз(ЗИрСрКор)) Ия 





ИндЗПрСрКор; = 


где тах(|2ИрСрКор)), тах(ЗПрСрКор) — максимальные абсолютные значения соответствующих показателей среди 





всех членов комиссии; пут(2ПрСрКор|), пит(3ПрСрКор|) — минимальные абсолютные значения соответствующих 
, реркор реркор 





показателей среди всех членов комиссии. 

При обосновании принятия решений по оцениванию результатов работы экспертов была применена теория 
нечетких множеств. Данная теория предложена Л. Заде и позволяет описывать нечеткие понятия и знания, опериро- 
вать этими знаниями и делать нечеткие выводы. В нечеткой логике значения любой величины представляются не чис- 
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лами, а словами естественного языка и называются термами [4, 5]. При оценивании качества работы экспертов количе- 
ственные показатели дополняются качественными оценками, выраженными базовыми и расширенными терм- 
множествами. Для качественных оценок значений показателей были использованы три основных терма базового терм- 
множества: «низкое» (низкое качество проверки), «среднее» (среднее качество проверки), «высокое» (высокое каче- 
ство проверки). Также были введены четыре терма, относящиеся к расширенному терм-множеству: «скорее низкое, 
чем среднее», «скорее среднее, чем низкое», «скорее среднее, чем высокое» и «скорее высокое, чем среднее». Термы из 
расширенного терм-множества позволяют классифицировать экспертов, которые явно не относятся ни к одной из ос- 
новных групп. Использовались следующие качественные параметры эксперта (имеют приставку «Оц»): 

— Оиц2ПрСРКор, 

— Оц2ПрЧастКор, 

— Оц3ЗПрСрКор, 

— Оц3ЗПрЧастКор. 


Метод нечеткой кластеризации. В качестве метода кластеризации экспертов по результатам их работы был 
использован алгоритм Риззу С-Меаи5 (ЕСМ) [6, 7]. Этот алгоритм чаще всего применяется для нечеткого группирова- 
ния объектов. Он формирует группы, прототипы которых представляются точками в пространстве параметров кла- 
стерных объектов. Для выполнения алгоритма группировки объектов с множеством параметров А необходимо выбрать 
подмножество параметров объектов ВСА, по значениям которых будет реализована кластеризация, определить подхо- 
дящую метрику, количество групп с, степень нечеткости и, параметр = в критерии остановки алгоритма, а также слу- 
чайным образом инициировать матрицу принадлежности объектов к той или иной группе И® Е 7, ({ — количество 
групп) и вектор прототипов У [8]. 

Были проведены эксперименты по обработке результатов проверки работ различных экзаменационных комис- 
сий [1, 2, 10]. С помощью анализа показателей результатов работы экспертов с учетом принятых допущений установ- 
лено, что качество работы экспертов наиболее информативно отражают следующие показатели: Инд3ИрЧастКор, 
Инд3зПрУОдВелКор, Инд3ЗПрСрКор и ИндСКОЗПрСрКор. Показатель ИндЗПрЧастКор представляет нормированную 
частоту появления ошибок у экспертов при оценивании результатов выполнения задания. ИндЗПрУОВелКор отражает 
существенность ошибок эксперта при оценивании. ИндЗПрСрКор оценивает наличие тенденции к занижению или 
завышению оценок при выставлении баллов. ИндСКОЗПрСрКор демонстрирует стабильность в принятии экспертом 
решения. Для наглядности было выбрано двумерное пространство параметров, построенное по индикаторам, оцени- 
вающим частоту корректировки при третьей проверке (параметр у) и удельное значение корректируемого балла оцени- 
вания при третьей проверке (параметр х). 

В рассматриваемом двумерном пространстве координаты точки — это оценки результатов работы экспертов. 
Расстояние между точками может быть измерено различными метриками, которые являются формулами (правилами) 
для определения расстояния между любыми двумя точками заданного пространства. При выборе метрики были рас- 
смотрены несколько возможных вариантов: расстояние Чебышева, Евклидово расстояние, квадрат Евклидова расстоя- 
ния, «взвешенное» Евклидово расстояние, расстояние городских кварталов (Манхэттенское расстояние). 

Для рассматриваемых параметров экспертов приемлемые результаты кластеризации были получены с приме- 
нением метрики взвешенного расстояния Евклида. 

Расстояние ((451;) от точки до центра 1-го кластера находится по формуле: 


45: = 6 (и, (13) 


где х, у; — значения координат центра 1-го кластера; х, у — значения координат точки эксперта; А1, К>› — весовые коэф- 
фициенты. 

Для каждого эксперта введем понятие нормы как взвешенную метрику (13), в которой вместо центра 1-го кла- 
стера (хьу;) используется точка (1,1). Будем считать, что чем ближе к точке (1,1) находится эксперт, тем лучше качество 
его проверки. В этом случае норма (г) может быть вычислена по формуле: 


"= (-х)2-+6а-у)? Г (14) 


где х, у —— значения координат точки эксперта; К, К —Щ весовые коэффициенты. 
В качестве условия завершения алгоритма рассматривается малое суммарное изменение параметра И Ку между 
соседними итерациями среди всех экспертов: 


хаб -уая/! <5, (15) 
где & — заданная константа. 
Алгоритм ЕСМ чувствителен к резко отклоняющимся значениям оцениваемых параметров — так называемым 


шумам или выбросам [9]. Поэтому перед применением основного алгоритма производится поиск и исключение таких 
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точек из исходных данных. Выбросами считаются точки, которые удалены от центра группы на расстояние, превыша- 
ющее удвоенное среднеквадратическое отклонение этого расстояния для точек данной группы. Начальные центры 
кластеров распределяются равномерно по центрам отрезков от минимального значения нормированного параметра до 
максимального. Центры кластеров выбираются таким образом, чтобы минимизировать суммарное расстояние от объ- 
ектов группы до ее центра и максимизировать расстояние между центрами кластеров. Количество кластеров принима- 
ется равным 3 — п количеству основных групп оценивания экспертов (низкое качество проверки, среднее качество 
проверки и высокое качество проверки). 


Начальное значение центра 1-го (ГЕ [1:соипй) кластера (сеп!';) находится по формуле: 


тах(праг) — тт(ираг) 





з (16) 


сешг. = пит(праг) +1х 
1 2,Охсоит! 


где шш (праг) — минимальное нормированное значение параметра; тах (праг) — максимальное нормированное зна- 
чение параметра; соии! — количество кластеров. 
Параметр принадлежности (Бе[опз;) эксперта к {-му кластеру находится по формуле [8]: 


2,0 

п-1,0 

Беопв; = 
ЧТ, 





, (17) 


где 4151, — дистанция до центра 1-го кластера по формуле (13); п — коэффициент нечеткости. 


Анализ полученных результатов. Рассмотрим работу предложенного метода на примере обработки результа- 
тов проверки экспертной комиссией бланков заданий по дисциплине «Математика: профильный уровень». Комиссия 
состоит из 59 экспертов, количество проверенных заданий варьируется от 520 до 1462 и в среднем составляет 758. 

На рис. 1 и 2 представлены графики распределения экспертов по группам с учетом шумов и без учета шумов 
соответственно. Эксперты с низким качеством проверки обозначены квадратами, со средним — треугольниками, с 
высоким — ромбами. Перечеркнутыми фигурами обозначены значения параметров экспертов, которые были приняты 


выбросами (шумами). Темными точками на графиках обозначены центры кластеров. 
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Рис. 1. График распределения экспертов на группы без учета шумов 
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Рис. 2. График распределения экспертов на группы с учетом шумов 


Как видно из рис. 1и 2. шум оказывает влияние на работу алгоритма при нахождении центров кластеров и яв- 


ляется причиной неточного определения качественных параметров экспертов. Неточность определения связана с тем, 
что шумовые значения могут полностью перетягивать на себя центры кластеров. 
Оценка результатов работы комиссии приведена в табл. 3. 



























































Таблица 3 
Оценка работы экспертов комиссии с учетом шумов 
№ | ИН* ЗПрЧастКор, % ЗПрУдВелКор | Выс. | Сред. | Низ. Результирующая оценка Шум 

1 | 1506 0,17 0,001718 1,0 0,0 0,0 Высокое + 

21121 0,49 0.004902 1,0 0,0 0,0 Высокое 

3 | 196 0,55 0,005464 1,0 0,0 0,0 Высокое + 
4 | 1426 0,57 0,005671 1,0 0,0 0,0 Высокое _ 

5 | 166 0,77 0,009615 1,0 0,0 0,0 Высокое -_ 
24 | 229 1,15 0,013436 0,37 | 0,63 | 0,0 Скорее среднее, чем высокое - 
25 | 185 1,16 0.015732, 0,2 0,80 0,0 Скорее среднее, чем высокое — 
26 | 292 1,19 0,01581 0,09 | 0,91 | 0,0 Среднее - 
27| 632 1,24 0,013201 0,03 | 0,97 | 0,0 Среднее _ 
28 | 1505 1.25 0,012545 0,02 | 0,98 | 0,0 Среднее - 
38 | 1427 1,42 0,015986 0,0 0,99 | 0,01 Среднее — 
39 | 1425 1,46 0.021938 0,0 0,85 | 0,15 Скорее среднее, чем низкое — 
40 | 1428 1,50 0.019461 0,0 0,81 | 0,19 Скорее среднее, чем низкое — 
41 | 1507 1,53 0,020443 0,0 | 0,51 | 0,49 Скорее среднее, чем низкое - 
42 | 799 1,55 0,022453 0,0 | 0,27 | 0,73 Скорее низкое, чем среднее - 
43 | 1230 1,61 0,0161 0,0 | 0,16 | 0,84 Скорее низкое, чем среднее — 
44 | 163 1,63 0,021739 0,0 | 0,025 | 0,975 Низкое _ 



































Щербинин Т. А. и др. Метод кластеризации в системе оценки результатов работы экспертов 





























45 | 633 1,66 0,019934 0,0 |0,007 | 0,993 Низкое _ 
46 | 289 1,68 0,020438 0,0 |0,002 | 0,998 Низкое = 
55 | 646 1,92 0,020408 0,0 0,0 1,0 Низкое _ 
56 | 638 1,94 0,022887 0,0 0,0 1,0 Низкое — 
57 | 215 1,99 0,025845 0,0 0,0 1,0 Низкое + 
58 | 245 2,30 0,026596 0,0 0,0 1,0 Низкое + 
59 | 1214 3,26 0,036399 0,0 0,0 1,0 Низкое + 





























*ИН — идентификационный номер эксперта. 











Рассмотрим пример распределения экспертов на группы с учетом шума. В табл. 3 параметры «Выс.», «Сред.», 
«Низ.» показывают нормированное значение отношения к кластерам высокого, среднего и низкого качества проверки 
соответственно. При расчетах принадлежности экспертов к кластерам был выбран коэффициент нечеткости (п) 1,5. 
Параметр «Результирующая оценка» представлен термами базового и расширенного терм-множества. Эксперты упо- 
рядочены по значению их норм (14). 

Как видно из табл. 3, показатели шестерых экспертов (1506, 1211, 196, 215, 245, 1214) были приняты за шумы 
и исключены из алгоритма нахождения центров кластеров. Наихудшие показатели у экспертов 646, 638, 215, 245 и 
1214, которые были отнесены к кластеру низкого качества проверки. Некоторые группы экспертов находятся на грани- 
цах кластеров: высокого и среднего качества проверки (229, 185) и среднего и низкого качества проверки (1425, 1428, 
1507, 799, 1230). Наилучшее качество проверки показали эксперты: 1506, 1211, 196, 1426 и 166, которые были отнесе- 
ны к кластеру высокого качества проверки. У данных экспертов наименьшие показатели частоты корректировок при 
третьей проверке и удельного корректируемого балла. 


Выводы. Проведенный анализ методических рекомендаций ФИПИ по проверке экзамена в форме ЕГЭ пока- 
зал, что качество работы экспертов отражают следующие параметры: частота корректировки при третьей проверке, 
удельное значение корректируемого балла оценивания при третьей проверке, среднее значение балла корректировки и 
среднеквадратическое отклонение балла корректировки. 

В результате проведенных экспериментов был выбран двумерный критерий оценки качества работы экспер- 
тов, с использованием которого реализовано нечеткое разделение экспертов на классы (высокое, среднее и низкое ка- 
чество проверки). Оставшиеся показатели могут быть использованы для уточнения тенденции эксперта и определения 
его уверенности в выставлении баллов. 

Разработанная методика позволяет оценить качество работы экспертов и обосновать решения о повышении 
квалификации членов предметной комиссии. 

В соответствии с полученным распределением предлагается при формировании комиссий отказываться от 
экспертов, которые попали в группу низкого качества проверки. Экспертам со средним качеством проверки следует 
дать рекомендации, позволяющие улучшить показатели. 
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